跳转至

文章背景与核心概要

在大语言模型（LLM）服务部署中，当键值（KV）缓存内存耗尽时，工程团队通常需要在硬件扩展（如增加张量并行度）与算法优化（如 KV 缓存压缩）之间做出抉择。以往的研究往往将硬件吞吐量与算法压缩率割裂评估，缺乏在统一成本维度下的直接对比。为此，本文作者通过在 A100、A40 和 H100 硬件上校准的配置文件模拟器，对不同张量并行配置与多种 KV 压缩策略进行了全面评估，首次在“每百万 Token 成本与延迟”的统一指标下寻找成本等效的交叉点。

研究的核心发现表明：在绝大多数适用场景下，KV 压缩在经济性上完胜增加 GPU 的方案，成本可降低 1.20 倍到 2.00 倍。对于参数量小于约 36B 的模型，增加 GPU 纯属浪费；而对于超大规模模型，由于受限于模型权重本身的显存占用，张量并行则转变为硬性需求。总体而言，KV 压缩作为极致的容量倍增器，能够将每美元的容量提升高达 16.5 倍，为优化 LLM 推理部署成本提供了关键的决策依据。

更多 GPU 还是更小的缓存？大语言模型推理中张量并行与 KV 压缩的内存受限服务博弈 (More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving)

arXiv: 2608.23962 [cs.AI]
Submitted: 25 Aug 2026
Authors: Srikanta Datta Tumkur, Mehar Simhadri, Anshu Bansal, Jay Iyer, Sai Pavan Kumar, Sai Kapil Kumar, Ramesh Nampelly, Raj Dandekar

📌 执行摘要 (Executive Summary)

当大语言模型（LLM）服务部署耗尽键值（KV）缓存内存时，工程师通常会在两种优化策略中进行选择： 1. 硬件扩展（张量并行）： 将模型权重和 KV 缓存分片到多个设备（2、4 或 8 个 GPU）上。这增加了内存余量，但代价是每层的 all-reduce 通信开销以及显着增加的硬件账单。 2. 算法扩展（KV 压缩）： 在单个 GPU 上通过量化和驱逐（eviction）在原地缩减缓存，以输出质量的微小下降换取硬件成本的节约。

When Large Language Model (LLM) serving deployments run out of Key-Value (KV) cache memory, engineers typically choose between two optimization strategies: 1. Hardware Scaling (Tensor Parallelism): Sharding model weights and the KV cache across multiple devices (2, 4, or 8 GPUs). This increases memory headroom at the cost of all-reduce communication overhead per layer and significantly higher hardware bills. 2. Algorithmic Scaling (KV Compression): Shrinking the cache in-place via quantization and eviction on a single GPU, trading a minor drop in output quality for hardware cost savings.

从历史上看，硬件论文报告的是吞吐量曲线，而压缩论文报告的是内存比例，这导致这两种方法很少在相同的成本轴上进行比较。本文在统一指标下评估了张量并行配置（第 1 到第 8 级）与 KV 压缩配置（16/8/4 位，保留率低至 0.25）：每百万 token 成本与延迟。使用在 A100、A40 和 H100 硬件上校准的配置文件模拟器，作者搜寻了成本等效的交叉点——并发现根本不存在这样的交叉点。

Historically, hardware papers report throughput curves while compression papers report memory ratios, leaving the two approaches rarely compared on the same cost axis. This paper evaluates tensor-parallel configurations (degrees 1 through 8) against KV-compressed configurations (16/8/4-bit, keep-ratios down to 0.25) on a unified metric: cost per million tokens against latency. Using a profiled simulator calibrated on A100, A40, and H100 hardware, the authors search for the cost-equivalence crossover—and find that none exists.

🔍 核心发现 (Key Findings)

  • 压缩在经济上占绝对优势： 在测试的模型（Llama-2 7B 和 70B）、三种 GPU 架构以及各种内存限制下，KV 压缩比增加 GPU 便宜 1.20 倍到 2.00 倍。
  • 模型大小阈值：
  • 低于约 36B 参数（对于 80 GB 显卡）： 压缩占据绝对主导地位。在 80 GB 设备上的标准上下文窗口内，较小的模型（例如 Llama-2-7B）甚至无法耗尽其 KV 预算，这使得额外的 GPU 成为白白浪费的开销。
  • 高于约 36B 参数： 张量并行从一种选择转变为硬性要求。例如，Llama-2-70B 在单个 A100 上于任何 KV 设置下都不可行，因为绑定资源是 KV 压缩无法触及的模型权重。
  • 延迟与容量权衡：
  • 张量并行是唯一能够积极改善延迟的手段（尽管由于批处理争用，压缩可能会使每个 token 的延迟降低 8% 到 93%）。
  • KV 压缩是终极容量倍增器，每美元的容量增加了 16.5 倍（相比之下，八倍的 GPU 支出增加仅带来微不足道的 1.21 倍增长）。
  • Compression Dominates Economically: Across tested models (Llama-2 7B and 70B), three GPU architectures, and various memory constraints, KV compression is 1.20x to 2.00x cheaper than adding GPUs.
  • The Model Size Threshold:
  • Below ~36B parameters (for an 80 GB card): Compression completely dominates. Smaller models (e.g., Llama-2-7B) cannot even exhaust their KV budget within standard context windows on an 80 GB device, making extra GPUs wasted expenditure.
  • Above ~36B parameters: Tensor parallelism shifts from a choice to a hard requirement. For example, Llama-2-70B is infeasible on a single A100 at any KV setting because the binding resource is the model weights, which KV compression does not touch.
  • Latency vs. Capacity Trade-offs:
  • Tensor Parallelism is the only lever that actively improves latency (though compression can degrade per-token latency by 8% to 93% due to batching contention).
  • KV Compression is the ultimate capacity multiplier, increasing capacity per dollar by 16.5x (compared to a modest 1.21x increase for an eightfold expansion in GPU spending).

📑 论文元数据 (Paper Metadata)

🔗 全文与资源 (Full-Text & Resources)